【非公式】不定期刊 Embulk/Digdagニュース [2016/07/30版]

ジョブ管理ツール

#Embulk

#Digdag

川崎照夫

2016.07.30

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、最近Embulk（エンバルク）とDigdag（ディグダグ）を調べている川崎です。

このブログでは、不定期刊 Embulk/Digdagニュースとして、非公式（勝手）にEmbulk/Digdagのトピックをまとめていきたいと思います。

2016/07/13
- 下記のコマンドでパラメータデバッグが出来る知見 #digdag gist.github.com/smdmts/2b35fbd… （@smdmtsさん）
- digdag.env.exportが動かないっぽいのでイシュー上げてみた。（@smdmtsさん）
2016/07/14
- Embulkのpluginの開発の話とTDのインテグレーションテストの話等　#tdtech （@hiroyukimさん）
- Embulk developer guide ほしい #tdtech （@frsyukiさん）
- Embulk のテストはマジでめんどい。 #tdtech （@Civitaspoさん）
- EmbulkのプラグインSDK、どうにかしたほうがいい。v2が必要 #tdtech（@frsyukiさん）
- モリスさん、次はEmbulk かな（@sonotsさん）
- embulkにplugin間で使いまわせるMixin機能欲しい。rubyならRubygemsにpushして使い回せばいいけど、javaの方はmavenの審査とか受ける気になれない。Embulk専用のrepositoryがあればいいだけな気もする（@toyama0919さん）
- embulk の設定ファイルも将来digdagのyamlになったりするのかな。 #tdtech （@yoyama）
- Qiitaに載ってるEmbulkのドキュメントなんとかしたいな、、、ユーザガイド的なものだけ別ページにしようと思って途中まで書いたものがあるんだよな、、 #tdtech （@hiroysatoさん）
- @frsyuki Binaryにembulk-mixin-XXXXXを集めればいいだけな気もしますね！開発者間で使い回せればいいかと（@toyama0919さん）
- @toyama0919 うむ、なるほど。各プラグインで共有して使いたいユーティリティライブラリを、新しいbintray上のパッケージとして作って、そこにリリースすればいい…ということですよね。embulk plugin utilsみたいなパッケージを…作ってくださいm(_ _)m（@frsyukiさん）
- Digdagは何故YAMLなのか　#tdtech （@hiroyukimさん）
- #tdtech started! @frsyuki on the stage. Talking about Digdag and YAML (going beyond YAML) pic.twitter.com/DZZiqbaFBO （@myuiさん）
- Digdagは、定義ファイル＋スクリプト＋ \ 俺たちのＹＡＭＬ / #tdtech（@hiroyukimさん）
- include できる。変数展開できる。プログラムが書ける。それが digdag の yaml #tdtech （@Civitaspoさん）
- DigdagのYAML は・・・喋ったｗｗｗ　#tdtech（@hiroyukimさん）
- YAMLは、シンタックスハイライトできるけどDigdagは、拡張子がdigになるから自動的にはハイライトされない。Atomと、vimの設定は出てるけどemacsはまだ情報がないので、誰かブログで公開して欲しいな。 #tdtech（@hiroysatoさん）
- digdag はグラフ構造を扱うシステムではなく、tree構造を扱うシステム #tdtech（@Civitaspoさん）
- digdag導入機運が高まっているんだけど、非エンジニアでも使えるような各フローの状態やリトライをモニタできる機能があると嬉しいなぁ（GitLab の pipelines のみたいなの）。ナイスな GUI がとかがバンドルされていると導入するときに上司を説得しやすい… （@hinatanさん）
- DigDagでYAMLとしてハイライトするには, yaml-modeをインストールした上で (add-to-list 'auto-mode-alist '("\\.dig$" . yaml-mode)) という設定を読み込めばいいんじゃないの? （@cocoatomoさん）
- @smdmts ありがとうございました。最後にダニエルさんに挨拶だけしました。Digdag色々教えてください。（@hiroysatoさん）
- @smdmts そういえばさっき聞き忘れたんですが、Digdag サーバ使えば、ワークフローを別マシンで実行することはできる。特定のワークフローを特定のサーバ群に固定して実行させるのはこれからって理解でよかったですか？、まだサーバあんまり試したことなくて、、（@hiroysatoさん）
2016/07/15
- embulkの設定を *.yml.liquid で書いてて、Rubyのコード書けるプラグイン(evalとかruby-procとか)の設定で三項演算子書こうとするとエラーになる気がするんだけど、liquidかYAMLの構文とぶつかってんのかな（@ohnishiakiraさん）
- ふぁぼるっくの日次バッチで、RDSから自宅サーバへのデータ転送を、一部pg_bulkloadからEmbulkに切り替えた。ロックのかかる時間が短くなったので、フロント側が落ちにくくなった。embulkが配列に対応したら、完全移行したい。（@osaponさん）
- embulk はてきとーなデータをDBに突っ込んで SQL でごちゃごちゃしたいという時に便利だった。（@ryocotankさん）
- @naoya_ito こんにちは、digdagモードが出たみたいです。twitter.com/github_el/stat… （@hiroysatoさん）
- 早速、emacsのdigdagモードが出てる。これはincludeの後ろにスペースがないと警告が出たりする便利機能が搭載されるのかな？twitter.com/github_el/stat… （@hiroysatoさん）
- AtomもemacsもDigdagモードが出たから、vimもdigdagモードが欲しい。includeの後のスペースがないと色が変わるやつ。
- Serverモードのログがローカルに吐かれてスケールしない（実行されたサーバでしかdigdag logで検索できない）のが気になっていたけど、S3に保存するモードがあることを @frsyuki さんに聞いたので明日調べる。 #digdag （@smdmtsさん）
- やはり定義体上の${…}はNashornのインスタンスの状態を強く意識する必要があるのと、変数の代入をするユースケースは存在するかだなぁ。（たぶん無い） #digdag（@smdmtsさん）
- digdagデバッグするのに久々にgradle触ってるけど忘れてるなぁ...（@smdmtsさん）
- @smdmts 昨日二人で古橋さんに聞いたDigdagスケジューラのことをまとめるとこんな感じになるようなきがするんですが、どうでしょう？、docs.google.com/spreadsheets/d… （@hiroysatoさん）
2016/07/16
- Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag ｜ Developers.IO → digdag。Rumdeck使うかまごついてたら、出てきた。 dev.classmethod.jp/server-side/ge… （@Rinn_studyさん）
- お、naoya さん digdag 使ってるんだ #codeiq39 （@kysnmさん）
2016/07/18
- digdag で記述したワークフローでみずほ銀行から為替レートの csv を取ってきて embulk で PostgreSQL に保存して Re:dash で可視化、というのができた（@naoya_itoさん）
2016/07/19
- @frsyuki @kzk_mover @oreradio 先日はいろいろ面白い話をありがとうございました。書きかけのEmbulk Developers Guide です。gist.github.com/hiroyuki-sato/… @Civitaspo にも協力してもらい?随時追記..予定（@hiroysatoさん）
- @hiroysato @Civitaspo 最終的にはFluentdのようにembulk-docsを独立したレポジトリに移して、そこにプラグイン開発関連のドキュメントもある(英語)→日本語版が追従する(ベストエフォート)という形がいい気がします。（@oreradioさん）
- @hiroysato @Civitaspo @nora96o embulk-docsにdeveloper documentも足しちゃっていいかなと思います。SphinxがいいのかFluentdでも使ってるheroku-docsフォークしたやつ使うのがいいかは?ですが。（@oreradioさん）
- イプロスさん，Prestogres，Embulk，FluentdとTreasure Dataプロダクトがたくさんだ #presto_meetup （@repeatedlyさん）
- embulkガンガン導入してる仲間だw #presto_meetup （@joker1007さん）
- Embulk, Fluentdに加えDigdagもproductionで動いているらしい #presto_meetup （@Lewuatheさん）
- embulk-input-prestoもつくった #presto_meetup（@repeatedlyさん）
- データ解析はSQLだけで解決出来ないこともあるので，Embulkでプラグイン書いて色々とやっている．あとdigdagとのコンビネーションが良い #presto_meetup（@repeatedlyさん）
- すでにdigdagもプロダクションに導入しているのか #presto_meetup（@repeatedlyさん）
- Embulk, Fluentdに加えDigdagもproductionで動いているらしい #presto_meetup （@Lewuatheさん）
- データ解析はSQLだけで解決出来ないこともあるので，Embulkでプラグイン書いて色々とやっている．あとdigdagとのコンビネーションが良い #presto_meetup（@repeatedlyさん）
2016/07/20
- 【Qiita】Embulkで手軽にメンテナンス性高いETLバッチを書く
- digdagのpythonでテストコード書くのどうやるんだろう（@smdmtsさん）
- embulk-filter-base58 base58ってビットコインで使われているのか、Embulkをビットコインに活用するのかな、rubygems.org/gems/embulk-fi… （@hiroysatoさん）
- @isoparametric ちょっと聞いたことないんですが、出ているログとか設定とか可能な範囲で教えていただけますか？、embulk -o conf.yml conf.ymlとしてlast_pathが設置されないければ成功していないような気がします。（@hiroysatoさん）
- @isoparametric ちなみにバージョンを上げるのは難しいですよね？、あとembulkを複数動かしたりとかされていますか？(OSのリソースとかそういうところかな？)と思いまして、、（@hiroysatoさん）
- @hiroysato バージョンをあげて今試してみてます。試験環境では、ymlがそのまま通ったので。 embulkは同時に複数起動（最大45プロセス）しており、 OSのリソースを食ってる可能性はありますが、OOM Killerには殺されないようにしてます。（@isoparametricさん）
- @isoparametric ちなみにどんなプラグインをご利用ですか？、もし自分が試すとしたらembulkを一プロセスだけにして同じことが起きるか？を試すと思います。(関係ないと思いますが)例えばgithub.com/embulk/embulk-… こういう問題もあるので、、、（@hiroysatoさん）
- @isoparametric Embulk Aで作成したデータをEmbulk Bで見に行ったりとかそういうことがあるかな？？と考えました。Dockerとか使っていれば問題は起きないとはオモますが、、（@hiroysatoさん）
- でも、、よく考えたらTDでEmbulk一度にたくさん動かしていそうだな、、mapreduce-executorとかだと関係ないかな。。Embulk同時実行の知見が必要だ。（@hiroysatoさん）
- embulk-filter-base58のJavaコードがとても綺麗な件について。なんで情報も少ないであろう英語圏の人がテストコードまでばっちり書けるのか。READMEの一番後ろに"Hat tip to kamatama41/embulk-filter-hash"って書いてる。（@oreradioさん）
- digdagは時間以外のトリガを持つ想定なんだろうか？できると幅広がる気がするんだけどなぁ（@muchiki0226さん）
2016/07/21
- embulk-input-ftpはFTPSのexplicitモード(FTPES)だと動かないな。暗号化無しのFTPとFTPSのimplicitモードだと動くけど。（@oreradioさん）
- fake_digdag.pyという謎のファイルをロードさせて、pytestでdigdagに噛ませたpythonスクリプトのテストができるようになった。（@smdmtsさん）
- VSCode用のDigdagモード作っている人がいる。github.com/msysyamamoto/v… （@hiroysatoさん）
- 需要があるか分からないけど、fake_digdag.py はこちら。 gist.github.com/smdmts/658c4e1… ほとんどこちらからぱくっただけのモックコードですが。 github.com/treasure-data/… （@smdmtsさん）
2016/07/22
- 【Qiita】Embulk 0.8.9で追加されたdateオプション
- Embulk v0.8.10リリース
  - お、Embulk 0.8.10が出た！。JRubyのバージョンが、9.0.4.0から9.1.2.0に、CSVパーサーで区切り文字が2文字以上も指定できるようになった等。（@hiroysatoさん）
- Digdag v0.8.4リリース
  - Digdag 0.8.4が出たようだ。digdag.io/releases/relea… DigdagにEmbulkにPokemon Goに今日はリリースが多いな。（@hiroysatoさん）
- どうやらついに embulk の jruby のバージョンが、バグ持ちバージョンからアップデートされたようだな。（@sonotsさん）
- そうか、embulkアップデート後はプラグインの再インストールが必要か。あんまりしてなかったから忘れてた。。。（@yoshikawさん）
- @hiroysato Embulk 0.8.10は、JRubyのバージョンが変わっているので、プラグインの再インストールが必要になります。ご注意下さい。（@hiroysatoさん）
- cd ~/.embulk/jruby/2.2.0/gems ; for i in embulk-* ; do echo $i | perl -pe 's/\-\d+\.\d+\.\d+//' ; done | xargs embulk gem install （@hiroysatoさん）
2016/07/23
- embulk-input-sftpを使って公開鍵のパスワードが間違えていて、認証に失敗した場合、サーバ側・クライアント側で、「com.jcraft.jsch.JSchException: USERAUTH fail」というメッセージを出るという知見を得た。(はまった) （@hiroysatoさん）
- Embulkのバージョンをあげたら、1つ1つのファイルを細かく処理するようになったらしくBigQueryの制限にひっかかるようになった。設定がどこにあるのかわからんぬ。（@isoparametricさん）
- BigQueryへのログ転送をembulkでやるところはもっとうまいことやりたいんだけど、何だかなあとなっている。 Google様曰くStreaming使えよ、なんですけど。（@isoparametricさん）
- Embulk最新をみたら、デフォルトで Using local thread executor with max_threads=8 / output tasks 4 = input tasks 1 * 4 になってた。そりゃジョブが増えすぎて詰まるよ。（@isoparametricさん）
- Embulkをぶん回しすぎてログ集計サーバーが落ちてしまった。すんませんぬ。（@isoparametricさん）
- @hiroysato Googleからjobが急に4倍になってるよ！！と怒られましたｗ明示的な指定が一番良さそうですね。 Embulkはなかなか知見がある人も少ないので苦戦中でございます。（@isoparametricさん）
- ポケモンポケモンとみんながいうなかEmbulkの環境をなおしている。（@isoparametricさん）
- digdagを導入するにあたってJenkinsやRunDeckじゃダメなの？と聞かれて、ジョブがDAGを表現できないからと答えたら一瞬で導入許可してくれたので、技術導入の口説き文句は重要ですね。（@smdmtsさん）
2016/07/24
- 中継でDIGDAGやったんだwww （@babaruuさん）
- Embulk 0.8.10で、embulk-output-bigqueryがインストールできないのは、jar_pathってメソッドが削除されているからで再定義すれば大丈夫なんだけど、どう直すのがいいのかな？github.com/embulk/embulk/… 一応これで直った。（@hiroysatoさん）
- @frsyuki Embulk 0.8.10にしたらembulk-output-bigqueryがインストールできないという不具合が出ています。jar_pathメソッドがなくなったせいみたいです。github.com/embulk/embulk/… どうするのがいいですかね？（@hiroysatoさん）
- @isoparametric 全然関係ないですが、Embulk 0.8.10でembulk-output-bigqueryがインストールできないという問題がでているので、まだ0.8.10にはしない方がいいです。github.com/embulk/embulk/… （@hiroysatoさん）
- Embulk java.lang.RuntimeException: Failed get a list of local files at '/LOG_FILES' LocalFileInputPlugin.listFiles(LocalFileInputPlugin.java:171)（@isoparametricさん）
- Embulkでログを溜めているディレクトリを指定してファイルを送信しているとまれにローカルのファイルの取得に失敗しているように見える。（一時ファイルが無くなるからか？）（@isoparametricさん）
- 時間があるときにEmbulkのソース読んでみるか。（@isoparametricさん）
- Analytics CloudとEmbulkを使った社会的データの分析 ift.tt/2a4hSmx （@tak4hir0さん）
- @isoparametric それはEmbulkで読み込むファイルを完成したファイルだけマッチさせるか、ファイルが出来た後に何かの方法で、アトミックに読み込むディレクトリに移動させるのが良さそうですね。（@hiroysatoさん）
- @hiroysato ログは蓄積するものなので読み込みたいログファイル自体が動的に増減することを見越してembulkが列挙時にあったが実行時に無かったファイルは例外としてトラップしてWarnで吐いてくれるのが動作としては有り難いかなと思います。（@isoparametricさん）
- @hiroysato ですよね。また、こちら見直しているとpath_prefixにマッチしないファイルのようです。挙動として指定されたディレクトリのファイルをすべて列挙してマッチするかを調べているようなので、単純にembulkのバグのように思います。（@isoparametricさん）
2016/07/25
- AWS の費用を Embulk + Re:dash で自動化した。ついでにデータ更新の実行は Digdag でやったった。RDB につっこむと SQL でいじれて便利。SQL 最高ですわ pic.twitter.com/QEY5Wub9hs （@naoya_itoさん）
- Embulk で三桁区切りの文字列を long にしたいときどうすれば（@naoya_itoさん）
- embulk-filter pluginにケタ数表示を数値に変換する機能が求められているようだ。（@nora96oさん）
- digdagのexport内で、`date ‘+%Y%m%d’`を取得したい時はどうすればいいのだろう? （@toyama0919さん）
- digdag、コマンド改行して書けるな（@toyama0919さん）
- @smdmts @toyama0919 セミコロンが使えないってのは、Nashornの制限ですか？、digdagのYAMLパーサーの制限でしょうか？（@hiroysatoさん）
- @smdmts @toyama0919 varで定義しちゃうと、digdag内で変数を壊すから禁止されているということですね。フォーマットが大丈夫なら${session_date}を使うのがいいかもしれませんね。（@hiroysatoさん）
- Digdagの組み込み変数に、current_XXXみたいなものを作って現在時刻とかを使えるようにするのはどうかな？、digdag.io/workflow_defin… 冪等性を考えると良くないかな？（@hiroysatoさん）
- @hiroysato @smdmts 最終的に欲しいのは「digdag内関数」なんですよねぇ。Rubyでもいいのですが、関数の戻り値の値を_exportにセットしたい（@toyama0919さん）
- @toyama0919 @smdmts Digdag.env.storeとかで変数を定義するのではなくて、digファイル内で変数を定義したいってことですか？　qiita.com/toru-takahashi… （@hiroysatoさん）
2016/07/26
- EmbulkのInputプラグイン書きたくなってきた（@ariarijpさん）
- あれ、embulk 0.8.10 の release note はどこだ > embulk.org/docs/release.h… （@sonotsさん）
- embulkのpluginとfilterを書き捨てるお仕事してる。つまり大変（@__yuunyan__さん）
- embulk と digdag と向き合う必要性（@hsbtさん）
- 会社の管理会計がエクセルになってるので Embulk で吸い出して DB にロードして Re:dash で可視化した。捗る〜（@naoya_itoさん）
- 18件のコメント b.hatena.ne.jp/entry/yukiyan.… “Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ” htn.to/QAHsPrPc （@eccyunさん）
- Embulk はエクセルからデータ吸い出して DB にロードして〜みたいなともすれば秘伝のタレ化する作業を宣言的に定義することで複雑かさせずに GitHub れるのが良い（@naoya_itoさん）
- embulk-input-google_spreadsheets ない（@Spring_MTさん）
- Embulk便利そうだ。試そう。（@hyakusonさん）
- embulkは知ってるけど、Re:dashとはなんぞ（ググる（@pouhiroshiさん）
- （もしかして embulk-parser-poi_excel？使ってる人いるのか…！？）（@hishidamaさん）
- Embulk --versionとやったときに、embulk 0.8.11 (JRuby: 9.1.2.0) ってJRubyのバージョンを出したら(ちょっと)便利な気がするんだけど、、どうかな？？（@hiroysatoさん）
- Embulk 0.8.11が出ました。embulk-output-bigqueryをインストール不具合の修正。それ以外は0.8.10と一緒です。BQ使う人はこの不具合が解消されるので、0.8.11にした方がいいようです。github.com/embulk/embulk-… （@hiroysatoさん）
- @hiroysato Embulk 0.8.11にアップデートした場合、Rubyのバージョンが変わる影響でプラグインの再インストールが必要です。（@hiroysatoさん）
- いつもの三角形だ。企業におけるデータ処理基盤のキホン：蓄積（HDFS、HBase）、処理（Hive、MapReduce、Spark）、パイプライン（fluentd、Embulk、Kafka） #sparkmeetup （@data_sciesotistさん）
2016/07/27
- Digdag v0.8.5リリース
  - お、digdag 0.8.5が出たぞ。digdag.io/releases/relea… （@hiroysatoさん）
- 昨日embulkを試そうとしたらembulk-output-bigqueryのライブラリがインストールできなくて困ってたけど今日のバージョンで直ったっぽい。あと一日早ければ困らずに済んだのに…… （@Scaled_Wurmさん）
- なるほど、こゆケースで embulk 使えるのか（@ttekunさん）
- え、EmbulkってExcelからも引っ張れるの。（@ukeago801さん）
- @ukeago801 こんにちは、embulk-parser-poi_excelをご利用ください。ne.jp/asahi/hishidam… 私の作ったroo-excelも使えますが、poi_excelの方がいいと思います。(Javaだし高機能です) （@hiroysatoさん）
- embulk-filter-expand_json、しばらく見なかったら色々機能拡張されているな〜。（@hiroysatoさん）
- Embulk の JRuby Plugin 書いてて、よく分からない現象に遭遇した。。どうしてこうなる。。 > gist.github.com/civitaspo/8b2c… （@Civitaspoさん）
- @kurain Embulk同様にDigdag関連は定期的にウォッチして、qiita.com/hiroysato/item… ここにまとめていますのでご参照ください。何か抜けがあったら教えてください。（@hiroysatoさん）
- Digdag業面白いな。ワークフローをエンジニアリングするのがこんなに面白いとは（@toyama0919さん）
- @kurain DigdagのSchedulerは色々直す必要があるようです。そのためサーバモードを使うのが(しばらくは)良いようです。-oの問題はこれと一緒ですかね。github.com/treasure-data/… （@hiroysatoさん）
2016/07/28
- 【ブログ】CloudWatch Command Line Tools、Embulkを駆使してAWSのリソース使用状況レポートを自動生成してみました ow.ly/NL0bP #cloudwatch #embulk
- homebrewのembulk使っててself updateするとどうも挙動がおかしくなるな。古いEmbulkが使われてしまうケースがある（@toyama0919さん）
- 0.8.11にしたらこれが起きだした。each2回してないのに。 `Detected double release() call of a buffer` error · Issue #403 · embulk/embulk github.com/embulk/embulk/…（@toyama0919さん）
- なんとかembulkのバージョンを0.8.11にしたけど色々大変だった（@toyama0919さん）
- embulk-output-bigquery でBIgQueryにデータを上げるのいろいろ試してたけど、大きいテーブルだとbq loadコマンド(Cloud Storage経由)に上げる速度で全然勝てないんだけど使い方が悪いのかそれともそういうものなのか(´・ω・｀) （@Scaled_Wurmさん）
- む、、、 org.embulk.exec.PartialExecutionException: java.lang.RuntimeException: java.io.IOException: 古いファイルハンドルです（@yoshikawさん）
- @sonots はい、embulk-filter-to_csvでCSVに変換してpayloadに指定していました(embulk触り始めたばかりなので変なことをしているかもしれません)（@Scaled_Wurmさん）
2016/07/29
- @Scaled_Wurm embulkのフレームワーク上、取り込みで値ごとにStringやらのオブジェクトを作って、そのあとto_csv、ということになるので、すぐcsvを吐き出すようなdbのdumpツールと比較するとどう頑張っても遅いということはあると思います。（@sonotsさん）
- mysql -eしてgzipしてgsutil cpして bq loadするのと、embulk-input-mysqlしてembulk-filter-to_csvしてembulk-output-bigqueryするのを比較してるんだけどどこがよくないんだろう（@Scaled_Wurmさん）
- embulkほんのちょっとしか触ってないのでまだよくわからない（@Scaled_Wurmさん）
- 自PC上でEmbulk使ってDWHへのロード環境作ってたんだけどLiquidでバケット名を変数にしたり凝ったことしてたらなんか本題よりもvbs書いてる時間が長くなってきたような。Digdag使ったらもっと楽になるかもだけどLiquidェ。。（@huntinggirledさん）
- embulkゆるふわ勢なので、猫でもわかる入門記事が求められている（？）（@risuosanさん）
- @risuosan embulkのゆるふわガチ勢なんですか？embulkにすると何が嬉しいのか教えてください(´・ω・｀)（@Scaled_Wurmさん）
- @toyama0919 すみません、"Detected double release" が発生するのは、plugin 側の実装の問題ですか？それとも Embulk v0.8.11 本体の方ですか？？（@muga_nishizawaさん）
- @muga_nishizawa エラーが発生すること自体はプラグイン側の問題でした（TT ただ、plugin側で書いたraiseのメッセージが出てこないのはEmbulkの問題といえるかもしれないです。（@toyama0919さん）
- embulkのメモリプールってどれくらい効いているんだろうなぁ。速度に寄与していないのであれば、メモリプールごと消してGC依存にしたいのだけども。（@frsyukiさん）
- シャチでもわかるembulk入門記事を公式から出してもらおう（@ksomemoさん）
- むしろ「シャチには分かり切ってるEmbulk入門」では… （@hishidamaさん）
- embulk input excel無いかな… （@grimroseさん）
- @grimrose embulk-parser-poi_excelがあります。ne.jp/asahi/hishidam… もう一つembulk-parser-roo_excelというのがあります。自分が作ったものですがpoi_excelの方がいいです。(高機能なので) （@hiroysatoさん）
- @frsyuki ごぶさたしてます。embulk-output-redshiftのPRで、AWSの認証用のクラス（元はembulk-input-s3）をbintrayに上げたい、という提案が来ていますが、コメント頂けますか？ github.com/embulk/embulk-… （@hito4_tさん）
- @hiroysato こちらやはりまだ発生するため、fluentdのbufferの切替を行う予定なのですが、Embulkのissueに登録しておきたいと考えています。内容的には問題無いと思いますが、いかがでしょうか？（@isoparametricさん）
- Fluendのout_fileで出力したファイルを定期的にEmbulkでまとめてロードした際に、IOExceptionが出る話。github.com/embulk/embulk/… うまく連携する方法はあるだろうか？、似たようなことをしている人いるかな？（@hiroysatoさん）
- @oreradio @Civitaspo embulk new java-inputで作られるファイルって、そのままだと動かないですけど、Rubyみたいに動くのあるといいでですね。と書いていて思いました。（@hiroysatoさん）
- embulk-input-jdbcでインクリメンタルロード(最後に出力したところを記憶しておいて、次回ロードの際は続きからロードできる機能)みんな欲しいと思う。github.com/embulk/embulk-… 欲しい人はいいねしよう。（@hiroysatoさん）